package com.biboheart.sc.lexer;

import com.biboheart.sc.support.definition.TokenState;

public interface Tokenizer {
    /**
     * 验证是否结束，如果已经结束分词，则返回end
     * @param ch 字符
     * @return 分词结果
     */
    TokenState getState(char ch);
}
